Swift chia sẻ về câu chuyện đằng sau ca khúc: “All Too Well là ca khúc tôi sáng tác đầu tiên cho album Red. Ca khúc thực sự rất cảm xúc đối với tôi vì nó kể một câu chuyện vô cùng hoàn chỉnh, nó bắt đầu với việc gặp gỡ một người rồi tất cả những cảm xúc trong sáng đó tiếp diễn theo dòng chảy của câu chuyện cho tới khi kết thúc một cách cay đắng. Ca khúc thực sự rất tâm trạng vì nó cho thấy vì sao mất mát lại đau đớn đến thế, bởi mọi chuyện từng rất tốt đẹp và bạn nhớ tất cả từng chi tiết”.

Trước khi biểu diễn ca khúc này tại Red Tour vào tháng 3 năm 2013, cô chia sẻ “Đối với tôi, khi viết nhạc, tôi luôn cố gắng sáng tác về những gì tôi biết, vì thế mà rất nhiều ca khúc đều viết về cuộc sống của tôi và những điều đã xảy ra. Cảm xúc tuyệt vời nhất là khi được viết chính xác những gì bạn cảm thấy. Đôi khi nó trở nên phức tạp bởi cảm xúc không chỉ có một. Đôi khi nó trở nên hỗn độn trong tâm trí. Và điều này dường như xảy ra khi bạn đánh mất hoặc cố gắng quên đi một ai đó. Nó từng xảy ra với tôi một lần và có quá nhiều cảm xúc xuất hiện đến nỗi tôi không biết phải lột tả chúng thế nào khi sáng tác. Hóa ra đôi khi điều tốt nhất có lẽ là viết chính xác những gì đã xảy ra, bởi đó là tất cả những gì trong tâm trí tôi”.